El equipo de Google DeepMind ha lanzado oficialmente el conjunto de datos WebLI-100B, un enorme conjunto de datos que contiene 100 mil millones de pares imagen-texto. Su objetivo es mejorar la diversidad cultural y la multilingüidad de los modelos de visión-lenguaje de inteligencia artificial. Con este conjunto de datos, los investigadores esperan mejorar el rendimiento de los modelos de visión-lenguaje en diferentes contextos culturales y lingüísticos, reduciendo al mismo tiempo las diferencias de rendimiento entre subgrupos y mejorando así la inclusividad de la inteligencia artificial. Los modelos de visión-lenguaje (VLMs) dependen de conjuntos de datos masivos para aprender a conectar...

Meta se enfrenta a una demanda por infracción de derechos de autor, en la que los abogados de la parte demandante afirman que el director ejecutivo de Meta, Mark Zuckerberg, aprobó el uso por parte de la empresa de un conjunto de datos de libros electrónicos y artículos pirateados para entrenar su modelo de IA Llama. Este caso es uno de los muchos litigios por derechos de autor contra varias empresas tecnológicas gigantes, acusadas de utilizar obras protegidas por derechos de autor sin autorización para entrenar modelos de IA. En documentos presentados el miércoles por la noche ante el Tribunal de Distrito de los Estados Unidos para el Distrito Norte de California, los demandantes reiteraron la declaración de Meta de finales del año pasado.

Recientemente, la empresa emergente de robótica de Shanghai, Zhiyuan Robotics, en colaboración con el Laboratorio de Inteligencia Artificial de Shanghai, el Centro de Innovación de Robots Humanoides de Construcción Conjunta Nacional y Local y Shanghai Kupas, ha lanzado oficialmente AgiBot World, un conjunto de datos de un millón de máquinas reales de código abierto, con el objetivo de apoyar el entrenamiento de modelos robóticos grandes generalizados y universales. Según se informa, este es el primer conjunto de datos de un millón de máquinas reales del mundo basado en escenarios reales de todo el mundo, una plataforma de hardware todoterreno y un control de calidad integral. El conjunto de datos AgiBot World nació en la fábrica de recopilación de datos a gran escala y la base de experimentación de aplicaciones autoconstruidas por Zhiyuan, con un área total de espacio

Zhiyuan Robotics, junto con el Laboratorio de Inteligencia Artificial de Shanghai y otras instituciones, lanza el conjunto de datos AgiBot World, el primer conjunto de datos de robots de un millón de unidades basado en escenarios reales a nivel mundial. En comparación con Open X-Embodiment de Google, su escala de datos a largo plazo se ha incrementado 10 veces, la cobertura de escenarios se ha ampliado 100 veces y la calidad de los datos ha alcanzado el estándar industrial. Este proyecto de código abierto, considerado el momento ImageNet para la inteligencia encarnada, muestra las impresionantes capacidades de los robots. Desde arreglar flores en la sala de estar hasta cocinar en la cocina, desde cobrar en el supermercado hasta trabajar en...

Recientemente, en la 12ª Conferencia de Finanzas y Tecnología Digital, parte de las actividades del Foro de Zhongguancun, la solución de detección Deepfake de Ant Group fue seleccionada para el premio "Innovación y aplicación de tecnología Fintech". Ant Group, a través de su laboratorio Tianji, ha creado el primer conjunto de datos Deepfake a gran escala, de alta calidad y multimodal del sector. Este conjunto de datos contiene más de un millón de contenidos multimedia, simulando fielmente los ataques Deepfake en entornos de control de riesgos financieros reales, convirtiéndose en un referente para evaluar las soluciones de detección Deepfake actuales en el sector financiero.

La Universidad de Harvard anunció recientemente que planea publicar un conjunto de datos compuesto por cerca de 1 millón de libros de dominio público, que cualquiera puede usar para entrenar modelos de lenguaje grande y otras herramientas de inteligencia artificial. Este proyecto está liderado por la recién creada Iniciativa de Datos Institucionales (Institutional Data Initiative) de la Universidad de Harvard, y se completó con el financiamiento de Microsoft y OpenAI. El conjunto de datos incluye libros escaneados del proyecto Google Books, que abarca obras clásicas de Shakespeare, Dickens, Dante, etc.

La Universidad de Harvard anunció el jueves que hará público un conjunto de datos de alta calidad que contiene cerca de un millón de libros de dominio público, que cualquiera puede utilizar para entrenar modelos de lenguaje grandes y otras herramientas de IA. Este conjunto de datos fue creado por la recién creada Iniciativa de Datos Institucionales (Institutional Data Initiative) de la Universidad de Harvard, y recibió financiamiento de Microsoft y OpenAI. Los libros incluidos son obras de dominio público escaneadas por el Proyecto de Libros de Google. Los datos...

Recientemente, un equipo de investigación de varias instituciones de investigación chinas ha publicado un conjunto de datos multimodales a gran escala llamado Infinity-MM, y ha entrenado un modelo de IA de alto rendimiento llamado Aquila-VL-2B basado en este conjunto de datos. Este avance ha inyectado una nueva fuerza impulsora en el desarrollo de la IA multimodal. El conjunto de datos Infinity-MM es asombrosamente grande, incluyendo cuatro categorías principales de datos: 10 millones de descripciones de imágenes, 24,4 millones de datos de instrucciones visuales generales, 6 millones de datos de instrucciones de alta calidad seleccionados y 3 millones de datos generados por G

Recientemente, un equipo de investigación de varias instituciones chinas creó con éxito el conjunto de datos “Infinity-MM”, uno de los conjuntos de datos de IA multimodales públicos más grandes hasta la fecha, y entrenó un nuevo modelo pequeño de alto rendimiento: Aquila-VL-2B. El conjunto de datos contiene principalmente cuatro tipos de datos: 10 millones de descripciones de imágenes, 24,4 millones de datos de instrucciones visuales generales, 6 millones de datos de instrucciones de alta calidad cuidadosamente seleccionados y 3 millones de datos generados por GPT-4 y otros modelos de IA.

En el rápido avance de la inteligencia artificial, un equipo de investigación internacional está allanando el camino para el desarrollo de modelos de lenguaje IA europeos. Han lanzado el proyecto MOSEL (Massive Open-source compliant Speech data for European Languages), creando un completo conjunto de datos de voz de código abierto para las 24 lenguas oficiales de la Unión Europea. Esta iniciativa tiene como objetivo impulsar el desarrollo de modelos de lenguaje IA abiertos en Europa, desafiando la actual dominancia del inglés en este campo.

En el Foro de Cultura de Beijing 2024, el Instituto de Investigación de Inteligencia Artificial de Beijing (BAAI) anunció el lanzamiento oficial de la nueva generación del corpus de internet chino CCI 3.0 (Chinese Corpora Internet), impulsando aún más la construcción y el intercambio de datos. CCI 3.0 incluye un conjunto de datos de 1000 GB y un subconjunto de alta calidad de 498 GB, CCI 3.0-HQ, siendo esta una importante actualización después del lanzamiento inicial de código abierto de CCI 1.0 en noviembre de 2023 y de CCI 2.0 en abril de 2024.

Recientemente, OpenAI lanzó un importante conjunto de datos multilingüe diseñado para evaluar el rendimiento de la inteligencia artificial en 14 idiomas, incluyendo árabe, alemán, swahili, bengalí y yoruba. Este conjunto de datos, llamado "Comprensión del lenguaje multilingüe a gran escala y multitarea" (MMMLU), se ha publicado en la plataforma de datos abiertos Hugging Face, lo que representa un avance significativo de OpenAI en el campo global de la IA. Enlace al conjunto de datos: https://huggingface

Getty Images ha anunciado una iniciativa importante para proporcionar a los desarrolladores de IA un conjunto de datos de entrenamiento que incluye 3750 fotos de alta calidad, que abarcan 15 categorías, con el objetivo de apoyar el desarrollo de aplicaciones de IA. Estas fotos se han publicado en la plataforma Hugging Face y están disponibles gratuitamente para los usuarios que acepten los términos del servicio y proporcionen información de contacto. Esta medida tiene como objetivo atraer a empresas y desarrolladores, al tiempo que promueve sus servicios de licencia de pago. Getty Images afirma poseer más de 572 millones de fotos, de las cuales más de 200 millones están disponibles para uso comercial.

LAION presenta Re-LAION-5B, el primer conjunto de datos de entrenamiento de IA a nivel mundial que elimina completamente los enlaces a CSAM (material de abuso sexual infantil), con el objetivo de abordar el problema del abuso sexual infantil. Este conjunto de datos, una mejora significativa de LAION-5B, se divide en dos versiones: Re-LAION-5B Research y Research-Safe. Se han eliminado un total de 2236 enlaces a CSAM, 1008 de los cuales provenían de listas de organizaciones de protección infantil. El conjunto de datos contiene 5.500 millones de pares de texto e imagen, con el objetivo de ayudar a...

La institución de investigación alemana LAION creó y publicó el nuevo conjunto de datos Re-LAION-5B, afirmando haber eliminado los enlaces a material de abuso sexual infantil (CSAM). Este conjunto de datos es una versión corregida del conjunto de datos anterior LAION-5B, incorporando las recomendaciones de la Internet Watch Foundation, Human Rights Watch, el Canadian Centre for Child Protection y el Stanford Internet Observatory. Re-LAION-5B se divide en dos versiones: Research y Research-Safe, esta última con contenido NSFW adicionalmente eliminado. El conjunto de datos está diseñado para apoyar...

La comprensión de contextos largos es un desafío clave en el campo del procesamiento del lenguaje natural, especialmente cuando los modelos de lenguaje grandes (LLM) procesan textos que superan el tamaño de su ventana de contexto. Para abordar este problema, los investigadores han desarrollado el conjunto de datos de referencia LooGLE, diseñado para evaluar la capacidad de comprensión de contextos largos de los LLM al procesar documentos extremadamente largos (promedio de 19.3k palabras, 776 documentos en total, que abarcan múltiples dominios). LooGLE incluye 7 tareas, que abarcan dependencias cortas y largas, y evalúa la comprensión del modelo de textos de diferentes longitudes. Los datos de prueba provienen de publicaciones a partir de 2022.

En mayo, IBM lanzó el modelo LLM Granite13B de código abierto para aplicaciones empresariales. Ahora, Armand Ruiz, vicepresidente de productos de la plataforma de IA de IBM, ha revelado el contenido completo del conjunto de datos de 6,48 TB utilizado para entrenar Granite13B.

Nvidia anunció recientemente dos avances tecnológicos revolucionarios en inteligencia artificial: HelpSteer2 y Llama3-70B-SteerLM-RM. Estas innovaciones prometen mejorar significativamente las capacidades de los sistemas de IA en diversas aplicaciones, desde la conducción autónoma hasta el procesamiento del lenguaje natural.

¿Podría existir un modelo de grafo universal que pueda predecir la toxicidad según la estructura molecular y, al mismo tiempo, ofrecer recomendaciones de amigos en una red social? ¿O que pueda predecir las citas de artículos de diferentes autores y descubrir los mecanismos del envejecimiento humano en una red genética? Pues sí, existe. Fue propuesto conjuntamente por el equipo del profesor Yi-Xin Chen de la Universidad de Washington en St. Louis, Muhan Zhang de la Universidad de Pekín y Tao Dai Cheng del Instituto de Investigación JD.

El Instituto de Inteligencia Artificial de Beijing ha lanzado TACO, un conjunto de datos de entrenamiento para la generación de código, diseñado para proporcionar a los modelos de generación de código datos de entrenamiento y un benchmark de evaluación más desafiantes. TACO presenta ventajas en cuanto a escala de datos, calidad y métodos de evaluación, incluyendo un conjunto de entrenamiento y prueba de mayor tamaño, diversas soluciones a los problemas y etiquetas más granulares. Los resultados experimentales muestran que los modelos de generación de código populares actuales presentan diferencias significativas con GPT-4 en la evaluación de TACO, lo que indica que aún hay margen de mejora en este campo. TACO no solo...